Ngày 28 tháng 4 năm 1975, linh mục Đa Minh Lê Hữu Cung được Tòa Thánh bổ nhiệm làm Giám mục chính tòa của Giáo phận Bùi Chu.[16] Tin tức từ Kỷ yếu Giáo phận ghi nhận ngày 8 tháng 5 năm 1975.[5] Ông là giám mục thứ ba xuất thân từ giáo xứ Đền Thánh Đức Mẹ Vô Nhiễm Phú Nhai, giáo phận Bùi Chu, sau hai giám mục Đa Minh Đinh Đức Trụ và Đa Minh Hoàng Văn Đoàn và là một trong năm giám mục xuất thân từ giáo xứ này, tính đến năm 2008.[17][18] Lễ tấn phong giám mục của ông được tổ chức ngày 29 tháng 6 năm 1975.[3][19]

Lễ tấn phong cho Tân giám mục Lê Hữu Cung được cử hành tại Nhà thờ Lớn Hà Nội, với phần nghi thức chính yếu cử hành bởi Chủ phong là Hồng y Giuse Maria Trịnh Như Khuê, các Giám mục Phêrô Maria Nguyễn Huy Quang (Giáo phận Hưng Hóa) và Tổng giám mục phó Giuse Maria Trịnh Văn Căn (Giáo phận Hà Nội) phụ phong.[20] Kỷ yếu giáo phận cho rằng phụ phong chỉ có Tổng giám mục phó Trịnh Văn Căn. Giáo phận Bùi Chu được trao cho tân giám mục có 320.000 giáo dân, 30 linh mục.[5] Tân giám mục chọn cho mình khẩu hiệu: Adveniat regnum tuum - Mẹ Maria, hy vọng của chúng ta.[19][21] Thông tin từ báo Nhân Dân (Số 7726) ngày 30 tháng 6 năm 1975, Đài Thông Tấn Xã Việt Nam đã loan tin về hai giám mục mới được phong chức giám mục là tân giám mục Lê Hữu Cung và giám mục Thanh Hóa Phêrô Phạm Tần.[22] Thông tin trên được đăng tải trên Pittsburgh Catholic vào ngày 11 tháng 7 năm 1975.[23]

Sau khi chính thức quản lý giáo phận, Giám mục Lê Hữu Cung dâng hiến Giáo phận Bùi Chu cho Thánh Tâm (Thánh Tâm Chúa Giêsu) và khuyến khích giáo dân sùng kính Thánh Tâm,[19][24] tiến hành phân bổ các linh mục, chọn các linh mục có năng lực vào ban điều hành giáo phận, động viên các linh mục trẻ năng thi hành tác vụ linh mục. Trong thời kỳ này, các linh mục thường đảm nhận nhiều giáo xứ với số giáo dân từ một đến hai vạn người. Giám mục Lê Hữu Cung, tương tự các linh mục, để cử hành thánh lễ, nhiều lúc phải dùng các phương tiện như xe đạp, đi thuyền hoặc đi bộ.[5] Dù trong thời kỳ khó khăn và cấm cách, Giám mục Lê Hữu Cung vẫn đào tạo chủng sinh cách âm thầm và truyền chức 11 tân linh mục vào ngày 6 tháng 6 năm 1976. Ông cũng có hai linh mục làm nghĩa tử, gồm linh mục Giuse Nguyễn Đức Dung và Đa Minh Trần Ngọc Tuất.[4] Số tân linh mục này xuất thân từ cựu chủng viện Mẫu Tâm đã bị giải tán[25] khoảng năm 1964. Sau vụ truyền chức cách âm thầm cho 11 linh mục, ông còn truyền chức linh mục cách âm thầm thêm một lần nữa vào ngày 16 tháng 6 năm 1979 tại Tòa giám mục Bùi Chu.[26] Ngoài ra, ông còn đề nghị các giám mục khác truyền chức cho ba chủng sinh khác ở miền Nam và cho phép Giám mục phó Vũ Duy Nhất truyền chức âm thần cho thêm sáu linh mục khác, cũng trong hoàn cảnh bí mật.[27]

Giám mục Lê Hữu Cung chú trọng vào vấn đề đào tạo linh mục, thông qua việc quan tâm đến các chủng sinh, truyền chức linh mục âm thần cho các chủng sinh để chờ ngày họ chính thức được thi hành tác vụ, chiêu sinh chủng sinh trong hoàn cảnh, gửi chủng sinh đi đào tạo tại nhiều nơi. Năm 1980, ông kêu gọi mọi người hiến thân để trở thành linh mục và thu được 400 đơn đăng ký. Do tuổi già và sức khỏe kém, Giám mục Cung đề nghị Tòa Thánh bổ nhiệm giám mục phó.[5] Tòa Thánh đáp lời và bổ nhiệm linh mục Giuse Maria Vũ Duy Nhất, Tổng Đại diện Giáo phận Bùi Chu làm giám mục phó vào ngày 4 tháng 7 năm 1979.[28] Lễ tấn phong tân giám mục cử hành ngày 8 tháng 8 cùng năm và giám mục Cung đóng vai trò phụ phong trong nghi lễ truyền chức.[5]

Cuối tháng 4 năm 1980, Giám mục Cung tham dự Đại hội Hội đồng Giám mục Việt Nam lần thứ nhất tổ chức tại Hà Nội. Tuy vậy, ông không được chấp nhận tham dự chuyến hành hương bổn phận giám mục Ad Limina năm 1980.[5] Giám mục Cung là giám mục Việt Nam (tại nhiệm) duy nhất không tham gia chuyến viếng thăm bổn phận này.[29] Ông dành thời gian viết thư mục vụ cho giáo sĩ, tu sĩ và giáo dân hàng tháng. Ngoài ra, ông dành thời gian viết sách đạo đức Công giáo như sách: Phép lần hạt mân côi Mẹ Maria, Lý đoán phổ thông, Lý đoán giúp mình xưng tội...[5]

Viết trong sách Các vị Giám mục một thời đã qua, Lê Ngọc Bích nhận xét Lê Hữu Cung là giám mục sống nghèo khó. Tính cách này thể hiện qua hành động tân giám mục rời Giáo xứ Phú Nhai để đến Tòa giám mục, ngoài mấy bộ quần áo, ông còn đem theo một cỗ quan tài loại thường như sự chuẩn bị, do bản thân đã già yếu. Nhận thấy điều này, linh mục quản lý cho mua một cỗ quan tài có chất gỗ và trang trí tốt hơn, nhưng Lê Hữu Cung không hài lòng về việc này, đề nghị mọi người ăn chay đền tội. Những vật dụng do anh em và giáo dân từ hải ngoại gửi tặng, ông đều phân phát phần lớn cho người nghèo,... Sau thánh lễ thường lệ tại Nhà thờ chính tòa Bùi Chu sáng Chủ Nhật, Giám mục Cung có thói quen gửi tặng những người khó khăn tất cả tiền đem theo bên mình.[15] Trong bữa ăn, ông thường chia bớt phần ăn cho những người khó khăn.[5]

Giám mục Lê Hữu Cung qua đời ngày 12 tháng 3 năm 1987 tại Tòa Giám mục Giáo phận Bùi Chu. Lễ an táng do Giám mục Phanxicô Xaviê Nguyễn Văn Sang, đại diện Hồng y Giuse Maria Trịnh Văn Căn chủ sự. Đồng tế còn có các giám mục Giuse Maria Vũ Duy Nhất, Giuse Maria Nguyễn Tùng Cương, Giuse Maria Đinh Bỉnh, các linh mục đại diện các giáo phận, các linh mục. Tham dự có khoảng 35.000 giáo dân và tu sĩ.[5] Thi hài ông được an táng tại nhà thờ chính tòa Giáo phận Bùi Chu.[30][31]